The obvious antidote [to the lack of replication] is openly shared data, materials, and code used to analyze the data. Some journals have begun to require this type of sharing as a condition of publication. More commonly, journals have offered a simple acknowledgment of open data, materials, and code using the badge system described earlier.1
(Source: https://osf.io/2jt9u/)
Nosek and Lakens (2014) likewise proposed a major change to peer review in their call for journals to adopt registered reports.1
« Tag » confirmatoire vs. exploratoire
Études non-préenregistrées : confirmatoire ou exploratoire? Ambigu! Et préenregistrement optionnel!
This, they argue, would remove the possibility of misrepresenting their research through omission and put them in a position to have to actively deceive in order to misrepresent, a threshold they argue fewer researchers would be willing to cross.1
« Big Teams Science »
L’importance de changements structurels
Valoriser les bonnes pratiques et la science ouverte!
au-delà de e.g., nombre de publications, facteur d’impact, prestige des revues
par exemple lors du processus d’embauche des nouveaux profs
Incorporer ces pratiques et ce discours formellement dans nos politiques universitaires
Merci Liesette!
Des problèmes plus profonds…
Confusion entre formation et production
Techniquement, les chercheurs (profs) sont les producteurs de la science
Les étudiants (doctorants) sont là pour apprendre comment produire de la bonne science
Mais la dynamique actuelle a changé et encourage maintenant plus les étudiants à produire eux-mêmes la science—et rapidement
C’est en effet ce qui détermine les chances d’acceptation
Publiez ou périssez! (publish or perish)
Pas de contrôle de qualité
That Stapel managed to go so long undiscovered in his fraud again raised alarms about the possibility that the supposed quality control mechanisms in psychological science were somehow failing.1
Pas ou peu de contrôle de qualité, car cela ralentirait le processus de publication, de production!
Qui supervise le superviseur?
L’importance de la réflexion a priori
If I had eight hours to chop down a tree, I’d spend six hours sharpening my axe
— Abraham Lincoln
Pas assez de temps (trop de lectures)
De longues sections méthodologiques et de résultats qui sont souvent peu pertinentes au point qui est en train d’être fait… Il existe un concept dans les compagnies où les individus sont payés à l’heure et quand il n’y a rien à faire, soit ils sont payés à rien faire, ou mieux, ils sont payé à faire des choses complètement inutiles et farfelues, juste pour dire qu’ils ne peuvent pas être sur leur téléphone, car ils sont payés, donc ils doivent travailler, même si c’est pas productif! Et donc je me demande si il n’y a pas un parallèle à faire ici, dans le sens qu’on se dit, mon dieu, ces gens là font un doctorat, faut faire quelque chose pour les garder occupés, sinon ça sera pas sérieux! Et notre solution? Plus de lectures!! Faut les garder occupés, même si ça la valeur ajoutée est faible! On focus sur les mauvaises affaires. Moins de temps sur les lectures, et plus de temps sur des projets intégrateurs appliqués! Les travaux, les présentations orales, les discussions, sont utiles dans ce sens là, donc ça fait du bien et ça fait changement du bac, mais d’après-moi on devrait aussi voir des exemples de cas appliqués en classe, et passer plus de temps à réfléchir dans par exemple des exercices interactifs plutôt que seulement sur des lectures théoriques. Système archaïque
…
…
Trop d’information dilue le message
Formation plus appliquée
~ 700 articles scientifiques pour maitrise + doc combinés
~ 2000 incluant bac (~ 6000 heures)
Pas vraiment aidé à devenir un meilleur chercheur…
Dû aller chercher ces connaissances dans mon temps libre (normal??)
Tradition ou bénéfice réel?
Bonne priorité? Quel est l’objectif?
“Train them or don’t require them to produce!”
Le problème de l’expertise éclatée
Le problème des « preprints »
Pas révisé par les pairs
Pas de contrôle de qualité
Donc besoin d’un système de preprints, mais avec peer-review
Problèmes associées avec la révision par les pairs
Outre les problèmes connus la révision par les pairs
Problème que la révision par les pairs n’est pas valorisée
(mais voir Publons/Web of Science)
Donc certains chercheurs ont comme politique de ne pas réviser les articles des autres, même si techniquement, ils le devraient…
Mais comme les chercheurs sont débordés, selon certains professeurs, on accepte de réviser des articles que lorsque des « amis » ou « collaborateurs » nous le demande…
Donc problème avec le système automatisé : ce n’est pas un ami ou une connaissance qui nous le demande! Donc est-ce que les gens seront susceptibles d’accepter??
Système de révision par les pairs automatisé
Avantage principal : Gain de temps (libération de ressources)
Requêtes auprès des réviseurs automatique
(mais supervisée par un éditeur humain)
Manuscrit formatté automatiquement par la plateforme
(mais peut être modifié par les auteurs eux-mêmes)
Pas de frais pour publier
Frais pour la plateforme assumée par un collectif formé de gouvernements et d’organismes scientifiques ou à but non-lucratif.
Le problème du format « Journal »
L’État finance la plupart des recherches
L’État paie les salaires de la plupart de ceux qui vérifient la qualité de la recherche
Puis, l’État achète la majeure partie du produit publié
Système efficace?
L’idée des journaux, du Facteur d’Impact, du prestige : malsain
Des profits monstrueux
Ils achètent la compétition pour développer un monopole